Beliau kembali ke Gunung Semanggol atas panggilan bekas gurunya dan bakal mertuanya, Haji Abd. Rahman, untuk sama-sama berusaha menubuhkan sebuah sekolah Islam di Gunung Semanggol sebagai ganti pondok ar-Rahmaniah.

Berkat usaha gigih Syeikh Abu Bakar al-Baqir dan dengan sokongan kuat Haji Abd. Rahman dan tokoh-tokoh muslim tempatan, maka pada tahun 1934 berdirilah sebuah sekolah agama yang mempunyai manhaj baru, yang diberi nama Maahad Al-Ehya Al Shariff, menggantikan pondok yang sedia ada yang telah dibangunkan dan diuruskan oleh Haji Abd. Rahman.